请问[MASK],[gMASK] , , 这几个特殊token加在什么位置?分别代表什么含义? · Issue #183 · THUDM/ChatGLM3 · GitHub |
您所在的位置:网站首页 › on in at分别加什么 › 请问[MASK],[gMASK] , , 这几个特殊token加在什么位置?分别代表什么含义? · Issue #183 · THUDM/ChatGLM3 · GitHub |
我觉得效果主要取决于训练数据。我觉得可以在 (2) 的基础上增加一些 special token 或者特殊序列来区分 ocr_texts question 和 answer。比如 [gMASK] [SOP] '.'.join(ocr_texts) question answer 这样,其中只有 answer 计算 loss。这样模型可以更好地分清文本、问题和回答这各个部分,也更方便控制 loss mask。 |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |